针对人脸表情识别的泛化能力不足、稳定性差以及速度慢难以满足实时性要求的问题，提出了一种基于多尺度核特征卷积神经网络的实时人脸表情识别方法。首先，提出改进的MobileNet结合单发多盒检测器（MSSD）轻量化人脸检测网络，并利用核相关滤波（KCF）模型对检测到的人脸坐标信息进行跟踪来提高检测速度和稳定性；然后，使用三种不同尺度卷积核的线性瓶颈层构成三条支路，用通道合并的特征融合方式形成多尺度核卷积单元，利用其多样性特征来提高表情识别的精度；最后，为了提升模型泛化能力和防止过拟合，采用不同的线性变换方式进行数据增强来扩充数据集，并将FER-2013人脸表情数据集上训练得到的模型迁移到小样本CK+数据集上进行再训练。实验结果表明，所提方法在FER-2013数据集上的识别率达到73.0%，较Kaggle表情识别挑战赛冠军提高了1.8%，在CK+数据集上的识别率高达99.5%。对于640×480的视频，人脸检测速度达到每秒158帧，是主流人脸检测网络多任务级联卷积神经网络（MTCNN）的6.3倍，同时人脸检测和表情识别整体速度达到每秒78帧。因此所提方法能够实现快速精确的人脸表情识别。

为快速稳定地检测图像序列中角度变化较大、遮挡较为严重的人脸，结合快速精确的目标检测模型MobileNet-SSD （MS）和快速跟踪模型核相关滤波（KCF），提出一种新的自动检测-跟踪-检测（DTD）模式，即MS-KCF人脸检测模型。首先，利用MS模型快速精确地对人脸进行检测，并且更新跟踪模型；其次，将检测到的人脸坐标信息输入到KCF跟踪模型中进行稳定的跟踪，并加快整体的检测速度；最后，为了防止跟踪丢失，跟踪数帧后再次更新检测模型，重新对人脸进行检测。实验显示，在FDDB人脸检测基准中，MS-KCF模型的召回率为93.60%；在WIDER FACE人脸检测基准的Easy、Medium和Hard数据集中，MS-KCF模型的召回率分别为93.11%、92.18%和82.97%，平均速度为193帧/s。实验结果表明，MS-KCF模型具有稳定性和快速性，在图像序列中对严重遮挡和角度变化大的人脸具有很好的检测效果。